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ROBERT BOSCH GMBH, 70442 Stuttgart 
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| 

j 

i 

verfahren zur Erzeugung eines verbesserten Bjlds ignals bei 
der Bewegunasschatzung von Bildsequenzen , insbesondere eines 
Pradiktionssignals fur Bewegtbilder mit 
bewegungskompensierender Pradiktion 

Stand der Technik 

Die Erfindung geht aus von einem Verfahren zur Erzeugung 
eines verbesserten Bildsignals bei der Bewegungsschatzung 
von Bildsequenzen, insbesondere eines Pradiktionssignals fur 
Bewegtbilder mit bewegungskompensierender Pradiktion, wobei 
fur Bildblocke Bewegungsvektoren gebildet werden, die fur 
jeden Bildblock eines aktuellen Bildes die Position des zur 
Pradiktion benutzten' Bildblockes gegenuber einem zeitlich 
davorliegenden Referenzbild angeben. 

Aus der EP 0 558 922 B2 ist ein Verfahren zur Verbesserung 
der Bewegungsschatzung in Bildsequenzen in 

Halbpelgenauigkeit nach dem Full -Search- Verfahren bekannt . 
Dort wird in einem ersten Verf ahrensschritt der Suchbereich 
und in einem zweiten. Verf ahrensschritt der Match-Block 

i 

gefiltert unter Zuhilf enahme eines zusatzlichen digitalen 
Filters, daS eine Rasterverschiebung des Bildpunktrasters urn 
M pel ermoglicht. Mit dieser Mafinahme ist eine Verfalschung 
des Bewegungsvektorf eldes auszuschliefien. 
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Beim „MPEG-4 Video Verification Model Version 7.0 W , Bristol, 
April 1997, MPEG 97/N1642 in ISO/IEC JTCl/SC 29/WG11 ist ein 
Encoder und Decoder zur objektbasierten Codierung von 
Bewegtbildf olgen spezif iziert . Dabei werden nicht mehr 
rechteckige Bilder fester Gr6£e codiert und zum Empfanger 
ubertragen, sondern sogenannte VIDEO OBJECTS (VO) , welche 
beliebige Form und GroSe aufweisen durfen. Die Abbildung 
eines solchen VO in der Kamerabildebene zu einem bestimmten 
Zeitpunkt wird als VIDEO OBJECTS PLANE (VOP) bezeichnet. 
Somit ist die Beziehung zwischen VO und VOP Equivalent zu 
der Beziehung zwischen Bildfolge und Bild im Falle der 
Ubertragung rechteckiger Bilder fester GroSe . 

Die bewegungskompensierende Pradiktion im 

Verif ikationsmodell wird mit Hilfe sogenannter blockweiser 
Bewegungsvektoren durchgef uhrt , die fur jeden Block der 
Grofie 8x8 bzw. 16 x 16 Bildpunkte des aktuellen Bildes die 
Position des zur Pradiktion benutzten Blockes in einem 
bereits ubertragenen Referenzbild angeben. Die Auflosung der 
Bewegungsvektoren ist dabei auf einen halben Bildpunkt 
beschrankt, wobei Bildpunkte zwischen dem Abtastraster (half 
pixel position) durch eine bilineare Interpolationsf ilterung 
aus den Bildpunkten auf dem Abtastraster (integer pixel 
position) erzeugt werden (Figur 1).+ gibt hierbei die 
Ganzzahl-Pixel-Position und Odie Halb-Pixel-Position an. 
Die interpolierten Werte a, b, c und d in Halb-Pixel- 
Position ergeben sich durch folgende Beziehungen: 
a = A, b = (A + B)//2, c = (A + C)//2, 

d = (A+B+C+ D)//4, wobei // eine gerundete Ganzzahl- 
Division kennzeichnet . 

Vorteile der Erfindung 

Mit den MaEnahmen der Erfindung laSt sich die Qualitat des 
Pradiktionssignals und somit die Kodierungsef f izienz 
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verbessem. Dabei wird zur Erzeugung von Bildpunkten 
zwischen dem Bildpunkt-Abtastraster eine grofiere ortliche 
Nachbarschaf t berucksichtigt , als bei der bilinearen 
Interpolation. Die erf indungsgemaSe aliasing-reduzierende 
Interpolationsf ilterung fuhrt zu einer erhohten Auflosung 
des Bewegungsvektors und damit zu einem Pradiktionsgewinn 
und einer erhohten Codierungsef f izienz . Bei der Erfindung 
konnen die FIR-Filterkoef f izienten den zu codierenden 
Signalen angepafct und fur jedes Video-Object getrennt 
iibertragen werden, was eine weitere Ef f izienzerhohung fur 
die Codierung ermoglicht sowie die Flexibilitat des 
Verfahrens erhoht . 

Im Gegensatz zur Losiing gemaS der EP 0 558 922 Bl miissen 
keine zusatzlichen Polyphasenf ilterstrukturen fur 
Zwischenpositionen mit V* pel-Bildpunktauf losung in 
horizontaler und vertikaler Richtung entworfen werden. 

Mit den Mafinahmen der Erfindung ist es moglich, daE bei 
gleichbleibender Datenrate die Bildf olgef requenz eines MPEG- 
1 -Coders von 25 Hz auf 50 Hz verdoppelt werden kann. Bei 
einem MPEG2 -Coder kann die Datenrate bei gleichbleibender 
Bildqualitat um bis zu 30% reduziert werden. 

Zeichnungen ; 



Anhand von Zeichnungen werden nun Ausf lihrungbeispiele der 



Figur 2 ein Interpolationsschema fur Bildpunkte zwischen dem 
Bildpunkt-Abtastraster, 

Figur 3 die Strukturj eines FIR-Filters zur Interpolation, 
Figur 4 eine weitere Interpolation mit noch hoherer 
Auflosung. 



Erfindung naher erlautert . Es zeigen: 
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Beschreibung von Ausf uhrungsbeispielen 

Beim Verfahren nach der Erfindung werden fur Bildblocke 
Bewegungsvektoren gebildet, die fur jeden Bildblock eines 
aktuellen Bildes die Position des zur Pradiktion benutzten 
Bildblockes gegenuber einem zeitlich davorliegenden 
Referenzbild angeben. 

Die Bestimmung der Bewegungsvektoren fur die Pradiktion 
erfolgt in drei auf einanderf olgenden Schritten: 
In einem ersten Suchschritt wird ein Bewegungsvektor mit 
Pelgenauigkeit nach einem herkommlichen Verfahren, z.B. nach 
der Full-Search-Block-Matching-Methode, fur jeden Bildblock 
bestimmt. Hierbei wird das Minimum des Fehlerkriteriums fur 
mogliche Bewegungsposit ionen ermittelt und jener Vektor, der 
die Bewegung des Bildblockes am besten beschreibt, 
ausgewahlt (EP 0 368 151 Bl) . 

In einem zweiten Suchschritt, der wiederum auf einer solchen 
Minimumsuche fur das Fehlerkriterium basiert, wird ausgehend 
von dem im ersten Schritt ermittelten Bewegungsvektor mit 
Pelgenauigkeit durch eine alias ing-reduzierende 
Interpolationsf ilterung mittels eines digitalen 
symmetrischen FIR (finite impulse response) -Filters ein 
verbesserter Bewegungsvektor auf Subpelgenauigkeit 
ermittelt. Die Auflosung wird hierbei hoher gewahlt als im 
ersten Suchschritt, vorzugsweise wird eine Auflosung von 
einem halben Bildpunkt bezogen auf das Bildpunkt raster 
gewahlt. Figur 2 zeigt das Interpolationsmuster fur die 
Bildpunkte b, c und d zwischen dem Bildpunkt raster , die sich 
aus den Nachbarbildpunkten A, B, C, D, E, F, G, H auf dem 
Bildpunktraster ergeben. + gibt die Ganzzahl-Pixelposition 
an, o die Halbpixelposition . Es gilt: 



• 
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b = (COlxfA.! + A +1 ) + C02x (A_ 2 + A +2 ) + C03x (A_ 3 + A +3 ) + 
C04x (A_ 4 + A +4 ))/256 

Ci = (COlxtAi + Ei) + C02x(B i + Fi) + C03x (Ci+ Gi) + 
G04x(Di + Hi) ) /256 

d = (COlxtc.! + c +1 ) + C02x{c. 2 + c + 2> + C03x (c_ 3 + c +3 ) + 
C04x(c_ 4 + C +4 ))/256 

Die Struktur des verwendeten FIR- Int erpo la tionsf liters ist 
aus Figur 3 ersichtlich. Es weist nach jeder 
Bildpunktposition 5p einen Abzweig zu einem Koef f izienten- 
bewerter 1, 2, 3 usw. auf und eine Summationseinrichtung 10 
am Ausgang. Wie aus obigen Beziehungen ersichtlich ist, wird 
zur Erzeugung von Bildpunkten zwischen dem Abtastraster eine 
groSere ortliche Nachbarschaf t beriicksichtigt , als bei der 
bilinearen Interpolation nach dem Stand der Technik. Die 
Interpolatibnsf ilterkoef f izienten C02 , C03 , C04 werden dabei 
so bestimmt, daS die Interpolationsf ehlerleistung minimal 
wird. Die Koef f izienten konnen direkt mit dem bekannten 
Schatzverf ahren des kleinsten, mittleren quadratischen 
Fehlers bestimmt werden. Aus der Minimierung der 
Interpolationsf ehlerleistung erhalt man ein lineares 
Gleichungssystem, dessen Koef f izienten aus dem 
Orthogonalitatsprinzip abgeleitet werden konnen. Ein derart 
optimierter Satz von FIR-Filterkoeff izienten ist durch die 
Koef f izienten COl = 161/256, C02 = -43/256, C03 = 23/256, 
C04 = -8/256 gegeben. 

Im dritten Suchschritt wird ausgehend von dem auf M 
Pelgenauigkeit bestimmten Bewegungsvektor durch eine weitere 
Interpolationsf ilteruhg eine lokale Suche unter 
Zugrundelegung der acht Nachbarbildpunkte mit einer 
Auflosung, die noch weiter erhoht ist, vorzugsweise auf M 
Bildpunkt, durchgefuhrt . Es wird wie zuvor der 
Bewegungsvektor ausgewahlt, der die geringste 
Pradiktionsf ehlerleistung lief ert . 
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Das Interpolationsmuster hierzu zeigt Figur 4. Die 
ganzzahligen Bildpunkt -Positionen sind mit X gekennzeichnet, 
die Halb- Pixel -Bildpunktposi t ionen mit o und die Viertel- 
Pixel-Bildpunktpositionen mit -. O markiert die beste 
Kompensation mit 1/2 -Bildpunkt und + die Viertelbildpunkt- 
Suchpos i t ion . 

Interpoliert wird bezuglich des Bildpunktrasters mit der 
Auflosung von einem halben Bildpunkt aus dem zweiten 
Suchschritt mit den FIR-Filterkoef f izienten COl' = 1/2, 
C02' = O, C03' = O, C04' = O. 

Die gleiche zuvor vorgestellte Interpolat ionstechnik wird 
fur die bewegungskompensierende Pradiktion verwendet . 

Falls die Verarbeitung innerhalb eines Coders mit einem 
reduzierten Bildformat durchgefuhrt wird (SIF-Format 
innerhalb eines MPEGl-Coders oder Q-CIF in einem H.263- 
Coder) , zur Anzeige aber das urspriingliche Eingangs format 
verwendet wird, z.B. CCIR 601 [1] bei MPEG-1 oder CIF bei 
H.263, mufi als Nachverarbeitung eine ortliche 

Interpolationsf ilterung durchgefuhrt werden. Auch fur diesen 
Zweck kann die beschriebene alias ing-kompensierende- 
Interpolationsf ilterung verwendet werden. 

Urn die aliasing-kompensierende Interpolation mit 1/4 Pel 
Auflosung zu aktivieren, konnen in einen Bildiibertragungs- 
Bitstrom Aktivierungsbits eingefiigt werden. 

Fur die Pradiktion von Video-Ob jekten konnen die 
Filterkoeff izienten COl bis C04 und COl' bis C04' fur jedes 
der Video-Ob jekte VO getrennt aufbereitet werden und in den 
Bildubertragungs-Bitstrom zu Beginn der Ubertragung des 
jeweiligen Video-Ob jekts eingefiigt werden. 
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Zur Codierung eines Bewegungsvektors kann der Wertebereich 
der zu codierenden Bewegungsvektor-Dif f erenzen an die 
erhohte Auflosung angepaSt werden. 



f 
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ROBERT BOSCH GMBH, 70442 Stuttgart 



Anspruche 

1. Verfahren zur Erzeugung eines verbesserten Bildsignals 
bei der Bewegungsschatzung von Bildsequenzen, insbesondere 
eines Pradikt ions signals fur Bewegtbilder mit 
bewegungskompensierender Pradiktion, wobei fur Bildblocke 
Bewegungsvektoren gebildet werden, die fur jeden Bildblock 
eines aktuellen Bildes die Position des zur Pradiktion 
benutzten Bildblockes gegenuber einem zeitlich 
davorliegenden Referenzbild angeben, mit folgenden 
Schritten: 

- In einem ersten Suchschritt wird ein Bewegungsvektor auf 
Pelgenauigkeit bestimmt , 

in einem zweiten Suchschritt wird ausgehend von dem 
Bewegungsvektor mit Pelgenauigkeit durch eine aliasing- 
reduzierende Interpolationsf ilterung mittels eines digitalen 
Filters ein verbesserter Bewegungsvektor auf 
Subpelgenauigkeit ermittelt, wobei die Auflosung hoher 
gewahlt ist, als es der Auflosung des Bildpunktrasters im 
ersten Suchschritt entspricht und wobei zur Interpolation 
mehr Nachbarbildpunkte herangezogen werden als bei einer 
bilinearen Interpolation, 

- in einem dritten Suchschritt wird ausgehend von dem auf 
Subpelgenauigkeit bestimmten Bewegungsvektor durch eine 
weitere Interpolationsf ilterung mittels des digitalen 
Filters ein weiter verbesserter Bewegungsvektor ermittelt, 
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wobei die Auflosung gegenuber dem zweiten Suchschritt 
nochmals erhoht wird und die Interpolation basierend auf dem 
Bildpunkt raster mit der Auflosung im zweiten Suchschritt 
vorgenommen wird. 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet , daS 
zur Interpolationsf ilterung beim zweiten Suchschritt ein 
FIR-Filter verwendet wird mit den Filterkoef f izienten COl = 
161/256, C02 = -43/256, C03 = 23/256, C04 = -8/256. 

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, 
da£ zur Interpolationsf ilterung beim dritten Suchschritt ein 
FIR-Filter verwendet wird, mit den FIR-Filterkoef f izienten 
COl' = 1/2, C02' = 0 1 , C03' = O, C04 ' = O. 

4. Verfahren nach einem der Anspruche 1 bis 3, dadurch 
gekennzeichnet, daS fur die Pradiktion von Video-Ob jekten 
(VO) die Filterkoef f izienten des digitalen Filters/FIR- 
Filters fur jedes Video-Ob jekt getrennt aufbereitet werden 
und in einen Ubertragungsbitstrom zu Beginn der Ubertragung 
des jeweiligen Objektes eingefugt werden. 

5. Verfahren nach einem der Anspruche 1 bis 4, dadurch 
gekennzeichnet, daS zur Codierung eines Bewegungsvektors , 
insbesondere fur eine Ubertragung der Wertebereich der zu 
codierende Bewegungsvektor-Dif f erenzen an eine erhohte 
Auflosung angepafit wird. 
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ROBERT BOSCH GMBH, 70442 Stuttgart 



Verfahren zur Erzeugimg eines verbe sserten Bildsignals bei 

der Bewegungsschatzung von Bi ldsequenzen. insbeSQntiere eines 

Pradiktionssignals fur Bewegtbilder mit 
bewegun askompensierender Pradiktion 

Zus ammenf as sung 

Zur Erzeugung eines verbesserten Bildsignals bei der 
Bewegungsschatzung erfolgt zuerst eine pelgenaue Bestimmung 
eines Bewegungsvektors und anschlieSend eine zweistufige 
Interpolationsf ilterung auf Sub-Pelgenauigkeit . Die 
Interpolationskoef f izienten werden hinsichtlich einer 
Aliasing-Reduzierung gewahlt . Zur Interpolation werden mehr 
Nachbarbildpunkte herangezogen als bei ublichen 
Interpolationsverf ahren . 



Die Qualitat eines Pradiktionssignals fur Bewegungsbilder 
la&t sich verbessern und damit die Codierungsef f izienz 
steigern. 
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